JuryFlow: Disagreement-Guided Human-in-the-Loop Multi-Agent Evaluation
JuryFlow: 分歧引导的人在环多智能体评估框架
🧭 多智能体评估与人在环分歧消解
University of Tsukuba · The University of Tokyo · Hiroshima University
把多智能体评判分歧视为 claim 级不确定性信号，人只选择关键分歧点，通过图传播与 rubric 归纳实现自改进评估
📌 工作参考价值（4 点）
- 在电商/Agent 场景评估 LLM 输出质量时，先把回复拆成 atomic claims 逐条 verdict，而不是整体打分；用 verdict entropy 定位不一致点，优先处理高熵 claim，可显著降低人工标注量。
- 把人从“重新标注整条回复”改成“只选一个 focal disagreement 做最小干预”：单个决策点即可触发后续重评，适合需要人工审核但预算有限的业务评审流。
- 构建 disagreement graph 并用结构相似性传播修正到历史相似 case，再抽象成 rubric 条目让所有 judge 继承：可复用于持续迭代的评估标准管理，避免每次规则更新都要重新训或重写 prompt。
- 自动消融协议可借鉴：评估框架上线前用 entropy ranking 自动选点，分别消融 targeted re-evaluation、propagation、rubric induction，定位真正带来提升的组件。